
.pdf 檔案前陣子,小弟分享過如何使用 Langchain+Streamlit 建立一個 document GPT應用程式,可參考過去介紹。
大家都知道,調用 OpenAI 是需要 API key 的,尤其當我們利用 Langchain 實作一個 document GPT,所需的 API 用量非常可觀,光是這點就讓很多人卻步,也讓絕大部分使用者沒辦法體驗應用程式。
在 Github 上有一個叫做 gpt4free的開源專案,可以在不需要 OpenAI API key 的情況下,免費調用(偷) OpenAI GPT 模型。
這讓我們得以實現一個完全免費的 document GPT,我們只需要把 Langchain 調用的 LLM 改寫成 gpt4free 即可。此外,為了與 PDF 對話,有一個步驟需要將文本進行 embedding,我們可以用 HuggingFaceEmbeddings 代替 OpenAIEmbeddings (無須付費)。
使用 OpenAI API(付費) 與 gpt4free(免費) 的結果如下:
關於 gpt4free:
gpt4free,它有多個不同的 Provider,每個 Provider 的狀態都會變化,有時你會無法正常使用,請記得更換!gpt4free 是透過逆向工程方式,借用不同 Provider 的 API,這種行為不確定是否合法,且開發者有提到免責聲明,建議不要拿此技術套用在商業產品上,避免惹禍上身。